最近需要用到flinkcdc作为数据流处理框架，在demo运行中发现一些问题，特此记录问题和解决过程。无法读取tableCausedby:java.lang.IllegalArgumentException:Can'tfindanymatchedtables,pleasecheckyourconfigureddatabase-name:[localdb]andtable-name:[flink_cdc_message]atcom.ververica.cdc.connectors.mysql.debezium.DebeziumUtils.discoverCapturedTables(Debezi
问题：任务正常运行，但是一直没有触发检查点，或者检查点失败各task检查点进度为0，手动触发检查点报错。原因：任务有两个source，source1运行几秒后相应的task变为finished状态，而存储checkpoint需要所有task处于Running状态。虽然无法存储checkpoint，但是不会影响任务的执行，所以没有曝出error信息。解决：修改自定义source1中重写的run()方法，加上while(true)使source保持running状态。附：FlinkCheckpoint流程与原理主要内容：预检查，比如检查最大并发的Checkpoint数，最小的Checkpoint之
说明:本篇将详细介绍用二进制安装包部署hadoop等组件，注意事项，各组件的使用，常用的一些命令，以及在部署中遇到的问题解决思路等等，都将详细介绍。1.环境说明1.1ip规划iphostname192.168.1.11node1192.168.1.12node2192.168.1.13node31.2系统配置1.2.1系统版本[root@localhost~]#cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009(Core)1.2.2内存建议最少4g、2cpu、50G以上的磁盘容量[root@localhost~]#free-htotalusedfr
目录1.背景2.原理3.通过Trino创建Kudu表4.FlinkKuduTableSinkProject项目4.1pom.xml4.2FlinkKuduTableSinkFactory.scala4.3META-INF/services4.4FlinkKuduTableSinkTest.scala测试文件5.查看Kudu表数据1.背景使用第三方的org.apache.bahir»flink-connector-kudu，batch模式写入数据到Kudu会有FlushMode相关问题具体可以参考我的这篇博客通过FlinkSQL操作创建Kudu表，并读写Kudu表数据2.原理Flink的Dyna
参数⚫jobmanager.memory.process.size：对JobManager进程可使用到的全部内存进行配置，包括JVM元空间和其他开销，默认为1600M，可以根据集群规模进行适当调整。⚫taskmanager.memory.process.size：对TaskManager进程可使用到的全部内存进行配置，包括JVM元空间和其他开销，默认为1600M，可以根据集群规模进行适当调整。⚫taskmanager.numberOfTaskSlots：对每个TaskManager能够分配的Slot数量进行配置，默认为1，可根据TaskManager所在的机器能够提供给Flink的CPU数量决
由于Flink自带的webUI界面没有账号密码，需要通过nginx实现该效果。 1.安装httpd-tools工具yuminstallhttpd-tools-y2.生成用户名密码文件htpasswd-c/usr/local/nginx/conf/flinkuserusername passwd flinkuser：为生成的用户名密码文件名称username：用户名passwd：密码3.nginx配置
文章目录前言一、原因分析二、解决方案前言前面我也有提到，发现flink运行一段时间后，不再继续消费的问题。这个问题困扰了我非常久，一开始也很迷茫。又因为比较忙，所以一直没有时间能够去寻找答案，只是通过每天重启的方式去解决。经过分析，其实这个问题也很容易找到根源，有兴趣就和我一起看下叭一、原因分析首先介绍一下这个程序大概流程，比较简单。一个输入源，经过一个算子，最后开了三个窗口。并行度都写在括号里了。下面这是一张taskmanager的cpu使用率，可以看出，到最后要停掉前也没有出现cpu高飘的情况，并且心跳依然存在，程序还是在继续运行的。我们从flink运行图上面可以看到，反压很严重矛盾就出现
flinklocal模式下启动sink2kafka报错，具体报错如下apache.kafka.common.KafkaException: Failed to construct kafka producer at org.apache.kafka.clients.producer.KafkaProducer.(KafkaProducer.java:432) at org.apache.kafka.clients.producer.KafkaProducer.(KafkaProducer.java:298) at org.apache.flink.connector.kafk
2.1数据流 DataStream：DataStream是Flink数据流的核心抽象，其上定义了对数据流的一系列操作DataStreamSource：DataStreamSource是DataStream的起点，DataStreamSource在StreamExecutionEnvironment中创建，由StreamExecutionEnvironment.addSource（SourceFunction）创建而来，其中SourceFunction中包含了DataStreamSource从数据源读取数据的具体逻辑。DataStreamSink：数据从DataSourceStream中读取，经
启动Flink显示初始化状态怎么解决？FlinkOnYarn模式问题flnk任务在跑的过程中，有时候任务停掉了，不过我有定时任务，可以把失败的flink任务拉起来，但是因为最新的checkpoint做失败了，导致脚本无法拉起flink任务，任务会一直处于初始化状态，这样是有问题的因为我无法识别到最后一个checkpoint是成功的还是失败的思路通过flinkrestapi可以判断出来这个初始化的状态，然后删除失败的checkpoint具体实现思路具体的解决步骤(脚本实现):1.通过任务名称获取appid;2.curlhttp://${yarnaddr}/proxy/${appid}/jobs/
